Nakayama sinh ngày 13 tháng 4 năm 1913,[3] tại quận Yamaguchi của Nhật Bản. Ông xuất thân từ dòng tộc suy thoái Sanada, người được biết đến như 1 võ sư kenjutsu, từ vùng Nagano. Ông của Nakayama là Naomichi Nakayama, một bác sĩ phẫu thuật ở Tokyo, người cũng là người cuối cùng trong gia đình dạy kenjutsu. Cha của Nakayama là Naomichi Nakayama, một bác sĩ quân đội và một Judoka (người luyện tập judo). Cha của ông được điều động đến Taipei, Nakayama dành một ít năm quan trọng ở đó. Ngoài việc học ở trường, ông tập luyện kendo, trượt tuyết, bơi lội, quần vợt và chạy bộ.

Nakayama vào Đại học Takushoku vào năm 1932 để nghiên cứu ngôn ngữ Trung Quốc,[1] và bắt đầu luyện tập karate dưới sự hướng dẫn của Gichin Funakoshi và con trai Yoshitaka (còn được gọi là Gigō). Ban đầu, anh dự định sẽ tiếp tục tập luyện môn kendo, nhưng do đọc sai lịch và đến khi có lớp karate – và thấy hứng thú với những gì mình thấy, cuối cùng tham gia câu lạc bộ đó. Nakayama tốt nghiệp Đại học Takushoku năm 1937. Cùng năm đó, ông du lịch đến Trung Quốc với tư cách là thông dịch viên quân sự trong thời gian Nhật Bản chiếm đóng Trung Quốc. Vào thời điểm Thế chiến II bắt đầu, Nakayama đã đạt được cấp bậc 2 dan. Nakayama trở lại Nhật Bản vào tháng 5 năm 1946, sau chiến tranh.